Huyền Cảm là con nhà võ, lớn lên học cưỡi ngựa bắn cung. Nhờ công lao và uy tín của cha đối với nhà Tùy, Dương Huyền Cảm được Tùy Văn đế thăng hẳn lên làm Trụ quốc, hàm nhị phẩm trong triều đình không cần qua các bậc dưới dưới; khi vào triều hai cha con đứng ngang hàng[2]. Các sử gia cho rằng đây là trường hợp hiếm có trong lịch sử khi con được hưởng tước phẩm ngang với cha ngay khi cha còn sống[1].

Sau đó Huyền Cảm được Tùy Văn đế phong làm thứ sử Sính châu. Khi tới nhiệm sở, Huyền Cảm bố trí những người thân thiết làm tai mắt theo dõi các quan cấp dưới, qua đó biết được ai liêm khiết, ai tham lam, ai lười biếng. Vì vậy khi hỏi tới vụ việc, cấp dưới của ông đều không dám giấu. Công việc thuận lợi, ông được cấp dưới và nhân dân trong vùng tín nhiệm[2]. Một thời gian sau, ông được điều đi làm Thứ sử Tống châu.

Năm 604, Tùy Văn Đế mất, Tùy Dạng Đế lên thay. Năm 606, Dương Tố qua đời, Dạng Đế phong Huyền Cảm làm Hồng lô khanh, tập tước Sở quốc công của cha, đồng thời giữ chức Lễ bộ Thượng thư.